【Andrew Ng 深度学习视频笔记】-lec4.2

本文记录第四课第二周视频中的概念

经典的网络结构
LeNet-5
AlexNet
VGG

ResNet 残差网络

在普通网络中增加跳跃连接
可以理解为传统网络中随着网络的加深，优化会很困难，所以误差会升高，但是加入了跳跃连接的残差网络不会因为网络变深而优化困难
为什么残差网络能够工作呢，原因是学习恒等函数比较简单：

$$a^{[l+2]} = g(z^{[l+2]}+a^{[l]}) =g(w^{[l+2]}a^{[l+1]}+b^{[l+2]}+a^{[l]})$$

当$w^{[l+2]}，b^{[l+2]}$为0时，可以保持$a^{[l+2]}=a^{[l]}$

1*1卷积可以让原始的矩阵做一个非线性变换

Inception
1、不确定使用什么样的过滤器时，可以结合多个过滤器的结果构造出新的结构
2、降低计算资源消耗，可以通过设定合理的’瓶颈’来降低计算

数据扩充

可以使用裁剪、旋转，缩放等等方式来进行数据扩充